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Воо5іпе-метод виявлення облич 
на зображенні 


У статті представлено Бообіїп2-метод виявлення облич фронтального вигляду на напівтонових зображеннях, 
який як прості класифікатори використовує ознаки з нового набору, отриманого шляхом поєднання локальних 
бінарних шаблонів та хаароподібних ознак. На наборі зображень облич з бази Уаїе В, які характеризуються 
нерівномірною освітленістю, розроблений метод демонструє на 7 - 1090 вищу вірогідність виявлення 
облич у порівнянні з Боо5іїп2-методом Віоли- Джонса. 


Вступ 


Задача виявлення облич вирішується в багатьох застосуваннях, де є першим кро- 
ком для подальшої обробки зображення, а саме: розпізнавання облич, розпізнавання 
емоцій, гендерна класифікація, інтерфейс «людина-комп'ютер», відеоспостереження, 
відеоконференції, контроль доступу, пошук зображень за контекстом, підрахунок від- 
відувачів тощо | ЇЇ. 

Найкращі результати на сьогоднішній день демонструють методи, які розглядають 
виявлення як задачу класифікації з двома класами (обличчя/не обличчя). Серед цих 
методів велику увагу привертають Бообіїпе-методи (2-31, які можуть оброблювати зоб- 
раження у режимі реального часу 1 є ефективними за критеріями ймовірності виявлення 
та кількості хибних виявлень. У цих методах використовуються алгоритми навчання 
класифікації з сімейства боо5іпе-алгоритмів. Ці алгоритми вирішують задачу класифі- 
кації шляхом комбінування малоефективних простих класифікаторів в один «сильний», 
для якого властива висока класифікаційна здатність. У багатьох Боо8іпе-методах як 
роо5іїпе-алгоритм використовується Адабоозі, а як прості класифікатори - хааропо- 
дібні ознаки, чи їх модифікації. Цим ознакам властива простота обчислення, що є пе- 
ревагою, але вони вразливі до умов освітлення. 

Для створення Боо5біїпе-методу з високою вірогідністю виявлення необхідним є 
використання набору ознак, робастних до умов освітлення. Такими ознаками можуть 
виступити локальні бінарні шаблони (ЛБШ), які останнім часом активно застосовую- 
ться у задачах розпізнавання |бЇ, |7). Для високої швидкості обчислення доцільно ство- 
рити новий набір ознак, який поєднає ЛБЬШ та хаароподібні ознаки. Для дослідження 
ефективності застосування цього набору у роботі потрібно використати напівтонові 
зображення облич людей фронтального вигляду. 

Метою даної роботи є розробка та дослідження ефективності Боо8іїпе-методу 
виявлення облич фронтального вигляду, який базується на використанні як простих 
класифікаторів ознак з набору, отриманого шляхом поєднання хаароподібних ознак та 
локальних бінарних шаблонів при використанні напівтонових зображень, отриманих 
в умовах нерівномірної освітленості. 
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І Модифіковані хаароподібні ознаки 


Хаароподібні ознаки |2| визначаються на напівтоновому зображенні і значення 
ознаки залежить від різниці сум інтенсивностей пікселів, обчислених у прямокутних об- 
ластях ознаки (рис. 1). 


ГЕНА. 


Рисунок 1 - Хаароподібні ознаки 


ЛБШ оператор дозволяє отримати опис околу пікселя зображення у двійковій 
формі. Значення ЛБШ ознаки після застосування ЛБШ оператора до околу пікселя 


зображення з координатами (х, у) можна описати |7): 
(М/2)-1 


С5 -ІВР(х,у)в У 5(К, З Куьміа)2", (1) 


тей 


де М - кількість пікселів околу, К - значення інтенсивностей пікселів околу, 
1, (якщо КО -К з 
5(К, и Кома) я 


т та М /2 
, де 2, - поріг. 

Згідно з формулою (1) ЛБЬШ оператор, що застосовується до околу пікселя на- 
півтонового зображення з координатами (Х, у), використовуючи вісім пікселів околу 
(КО -- К7) утворює чотирьохрозрядний бінарний код (рис. 2). 

Окіл пікселя (х,у) 


0, | інакше 


к5 | кб 
а С5-І.ВР(Х,у)-8(К0-КА)ч1-- 
З(к1-к5)Ж2-- 
ан о 5(к2-кб)ж4-- 
з(к3-Ктуж8 

к3 | к2 


Рисунок 2 - Обчислення значення ЛБШ ознаки 


Обчислюючи значення ЛБШ ознак згідно з формулою (1) у всіх точках напів- 
тонового зображення крім граничних, можна отримати масив ЛБШ (рис. 3). 

Доцільно новий набір ознак, який використовує ЛБШ ознаки та хаароподібні 03- 
наки, назвати модифікованими хаароподібними ознаками (МХО). Для обчислення 
значення МХО напівтонове зображення спочатку перетворюється у масив ЛЬШ, а по- 
тім у набір інтегральних масивів ЛЬШ (ІЛЬШ), використовуючи формули: 


СУ) ЗСУ - 1-6, (о), 0) 
ІС» у) а- (ах - 1, у як (3, )), (3) 
де І - масив ІЛБШ, і - допоміжний масив, 4- 1,..., 16; б, (Х, у) - 1, якщо комірка ма- 


сиву з набору Пве з координатами (х, у) дорівнює 4, і 5, (х, у) с 0 - в іншому випадку. 

МХО визначена певними параметрами: типом хаароподібної ознаки (рис. 1), зна- 
ченням С5-І.ВР, розмірами та місцезнаходженням на зображенні, що відповідає розмі- 
ру мінімального вікна пошуку (наприклад, 24х24 або 48х48 пікселів). 
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Напівтонове зображення 


11Р13 120 | 21 | 18 Масив ЛЬШ 


8 | п | 22 | 23 | 25 Оператор 71317 


ЛБШ 

9 14 1 17 | 24 | 25 Р оці 3 ч 15 
з параметрами: 

- кількість точок 

12 011 | 34 | 35 | 42 околу М -8 3 5 7 

- поріг А-0 


14 | 13 | 24 | 33 | 54 


Рисунок 3 - Отримання масиву ЛБШ з напівтонового зображення 
Приклад отримання набору масивів ІЛБЬШ з масиву ЛБШ представлений на рис. 4. 


Масиви ІЛЬШ 
і, їй 
д, ої 0|0|0 ог: 0|0|о0 
0о|1|0 ороГ1ЦРі1 ої 0|10|2 
ь- ь- 
« 3 11000 0111101 бо | «2222 
га 
и 11000 0111101 0:2|3 3 
/ 
/ і 
/ і, Г, 
/ 

Масив ЛБЬШ й д. ого: 0Г0 0ої0о:0о|0 
13127 / 1РроГ 1 0|ї11|102 РАНИ РОН УТИМІРУ 
/ ь- з 
317 | 15 о б 4-7 011|0 0ої0|1Ц(1 0:10|2 03 

М 
317017 М 01111 0ої0|1|2 0ї1Ц|3 | 5 
Ж 
о 
М 
М 5 15 
ХУ 5 
М 15 0ого0ого|о ої0|0|0 
М 
М 
Ж ої0о|0 0оїт0оГ0Г0 0оїт0ої0о0 
У ь- в 
х 25 |0|0| 1 оїо|о!| 1 осїо|о| 1 
ого|о 0оїо0о|огГо ог: 0|0о|1 


Рисунок 4 - Отримання набору масивів ІЛБЬШ з масиву ЛЬШ 


Відповідно до параметрів МХО, використовуючи відповідний масив ІЛБШ І, об- 
числюється кількість С5-І.ВР ознак у світлих та темних прямокутниках МХО. 
Значення МХО обчислюється за формулою: 
РП) з З -Зв, 
де Ууу - кількість С9-І.ВР ознак у світлих прямокутниках МХО, Зв - кількість С5-1.ВР 
ознак у темних прямокутниках МХО, І - масив ІЛБШ. 
Значення З та 5в обчислюються за формулою: 
5 з Ка,,Б,) - Ка, бь)- Ка, 6,) я Ца,,Б,), (4) 
де (а1, Б1), (а2, Б2), (а3, Б3), (а4, 54) - це координати чотирьох пікселів, пов'язаних з 
відповідним прямокутником у МХО (сусідній зверху з правим верхнім пікселем прямо- 
кутника, правий нижній піксель прямокутника, сусідній зліва з лівим нижнім пікселем 
прямокутника, сусідній по діагоналі зверху з лівим верхнім пікселем прямокутника). 


2 Розробка методу 


Для розробки методу доцільно використати підхід, запропонований у |2), у яко- 
му сукупність простих класифікаторів, відібраних за допомогою алгоритму АдаВоо5і 
для пришвидшення обробки зображення, представлена у вигляді каскаду сильних кла- 
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сифікаторів (КСК), з використанням як простих класифікаторів МХО. Розробка мето- 
ду виявлення облич буде складатися з декількох етапів: 

1) тренування КСК на наборах прикладів; 

2) оброблення зображення КСК; 

3) верифікація облич-кандидатів. 

Перший етап. Для реалізації першого етапу необхідно сформувати набори пози- 
тивних та негативних прикладів. Для цього формується база зображень облич фрон- 
тального вигляду Весь вВИКОрИСТОВУЮЧИ зображення з баз ОКІ, та ВІ0ІЮ, а також база 
зображень, на яких відсутні обличчя, Впопіассь ВИКОристовуючи зображення, відібрані 
в Інтернеті. Зображення з бази Віхе нормалізуються таким чином, щоб очі на зобра- 
женнях знаходилися в одних і тих же просторових координатах, та формується з них 
навчальний Р та верифікаційний набори У, позитивних прикладів. З Впопідсе ВИДІЛЯЮ- 
ться області зображень та формуються з них навчальний М та верифікаційний У, набо- 
ри негативних прикладів. Зображення у наборах Р, М, М, У, приводяться до розміру 
мінімального вікна пошуку. 

Для формування набору МХО доцільно обмежити розмір хаароподібних ознак, 
які використовуються у МХО, так як хаароподібні ознаки невеликого розміру при за- 
стосуванні у МХО будуть недостатньо дискримінантними. Нехай мінімальний розмір 
прямокутника у хаароподібній ознаці буде 4х4 пікселів. 

Для КСК встановлюються значення ймовірності помилки першого роду ЕР С 
та ймовірності виявлення ТР С, яких при тренуванні має досягнути КСК. СК додаю- 
ться до КСК до тих пір, поки не будуть досягнуті встановлені ЕР С та ТР С. 

З набору позитивних тренувальних прикладів при застосуванні ЛБШ оператора 


й 5 . Р з 
отримується набір масивів ЛБШ позитивних прикладів ІП в». Аналогічним чином з на- 
бору негативних тренувальних прикладів отримується набір масивів ЛБШ негативних 


прикладів Пів». Використовуючи формули (2) та (3) з набору Пвр отримується набір 
масивів ІЛБШ позитивних прикладів І", аз набору Тв набір масивів ІЛЬШ негатив- 


них прикладів І" - 

Використовуючи набори І" та І" обчислюється значення кожної МХО Є та ви- 
значається її оптимальний поріг б., та напрямок знаку рі. 

Для кожного СК встановлюються значення ймовірності помилки першого роду 
ЕР та ймовірності виявлення ТР, яких при тренуванні має досягнути СК. 

За допомогою алгоритму Адарбоозі тренується кожен СК до досягнення встанов- 


У Р й 
лених ЕР та ТР. Формується навчальна вибірка з набору Пав» позитивних прикладів 


М і 
та набору Їве негативних прикладів вигляду (хі, уп), аз» (Ха» Уп), Де Х - масив ЛБШ, у - 
цільове значення, яке дорівнює 0 - для негативних прикладів, 1 - для позитивних при- 
кладів. Ініціалізуються ваги м/1, - 1/2т, 1/2, для у; - 0, 1 відповідно, де пі - кількість 
позитивних прикладів, І - кількість негативних прикладів, а поточне значення ймовір- 
ності помилки першого роду - ІрКаїе (спочатку їрВаїе - 1). Запускається цикл з умовою, 
поки РрКаге » ЕР, де і - це поточна ітерація, 1 - індекс прикладу, | - індекс МХО. 
Нормалізуються ваги прикладів навчальної вибірки: 
Мі 
-- пн АЛЬ 
Хм, кі 
каї 
Формується простий класифікатор В; для кожної МХО, використовуючи І" та 
Х за формулою: 


М 


І, якщо р, (х)« р,0, 
0, | інакше 


па 


«Штучний інтелект» 172011 79 


| Маслій Р.В., Кулик А.Я. 


де 5 - МХО, х - масив ЛБШ, 0; - поріг, р; - напрямок знаку МХО. 
Помилка усіх простих класифікаторів на навчальній вибірці обчислюється за фор- 
мулою: 
Є6- Ум вух) ЗУ й 


У СК додається простий класифікатор 1, з найменшою помилкою є, Ваги прикла- 
дів оновлюються за формулою: 


1-е| 


Мн Піо |, 


Є, 
де е; - 0, якщо приклад х; розпізнаний правильно, е; - 1 в Іншому випадку, в.з Те 
ї 


Формується СК за формулою: 


Т 
Сх) з І, 2 о.09 ги 


0, | інакше 


(59) 


1 
де, ги Ж но, З . 


Й чі 

Використовуючи верифікаційний набір позитивних прикладів У, підлаштовує- 
ться поріг у СК, для досягнення заданого значення ймовірності виявлення ТР. Обчис- 
люється значення ймовірності помилки першого роду їрВКаїе СК на верифікаційному 
наборі негативних прикладів У. Перехід на наступну ітерацію циклу здійснюється у 
випадку виконання умови їрКагееРР, в іншому випадку СК додається у КСК. 

Здійснюється перехід до тренування наступного СК. Для формування набору не- 
гативних прикладів М наступного СК виділяється з Впопідсс Області зображень, які при- 
водяться до розміру мінімального вікна пошуку та формуються з них негативні приклади, 
здійснюється їх перетворення у масиви ІЛБШ і подаються на вхід КСК, приклади, які 
КСК прийняв за позитивні, додаються у набір М. 

Другий етап. Процес обробки зображення КСК для виявлення на ньому облич 
здійснюється наступним чином. За допомогою оптичного пристрою, наприклад, відео- 
камери, зображення, на якому присутнє одне чи більше людських облич, вводиться у 
комп'ютер. Це зображення перетворюється у масив ЛБШ та з допомогою формул (2) 
та (3) створюється 16 масивів ІЛЬШ. За допомогою вікна пошуку, розмір якого спочат- 
ку дорівнює мінімальному, а потім збільшується на коефіцієнт М5, при зміні масштабу 
пересувається по зображенню уздовж його рядків з кроком Кт пікселів, виділяється 
область зображення, відповідні їй частини масивів ІЛБШІ подаються на вхід КСК. 
У СК, використовуючи отримані частини масивів ІЛБШ, за формулою (4) обчислюються 
значення МХО у простих класифікаторах. Згідно з формулою (5) приймається рішення 
про перехід до наступного СК у каскаді у випадку П(х) - І, чи до відхилення поточної 
області зображення у випадку Б(х) - 0 і переходу до обробки наступної області зобра- 
ження, виділеної вікном пошуку. У випадку, якщо всі СК каскаду приймуть рішення 
БОх) - 1, область зображення визнається за таку, на якій присутнє обличчя. 

Третій етап. Після проходження вікна пошуку по всьому зображенню у всіх 
масштабах КСК виділяє на зображенні декілька виявлених областей - обличчя-канди- 
дати. Для верифікації облич-кандидатів застосовується правило кластеризації, в якому 
вся множина облич-кандидатів розбивається на множини, що не перетинаються. При 
кластеризації два обличчя-кандидати відносяться до одного кластера, якщо вони пере- 
тинаються більше ніж на відсоток фФ. Кластер є кандидатом для створення об'єднаної 
області, якщо множина облич-кандидатів у ньому більша порогу п. Об'єднана область 
формується шляхом знаходження середнього арифметичного координат облич-кандида- 
тів, що входять у кластер. Кожна з об'єднаних областей визнається за область обличчя. 
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3 Тестування методу 


Для оцінки ефективності розробленого методу як еталонного методу виявлення 
облич для порівняння результатів тестування був обраний відомий Бообіпе-метод Віоли- 
Джонса |2|. Тестування методів виявлення проводилося з використанням середовища 
Місговоїї Мізца! СК 2008 Ехрге85 Еаїйоп та бібліотеки Ше! Ореп Сотіриїег Міз8іоп ІЛЬ- 
гагу. Для тестування методів була використана база облич «У аіе Касе Рагаразе В» |З. 

З бази «Уаїе Касе Даіабазе В» був використаний набір з 650 напівтонових зобра- 
жень облич фронтального вигляду розміром 640х480 пікселів (рис. 5). Кожне зобра- 
ження містить фронтальний вигляд особи. Зображення бази «У аїе Касе Дакабазе В» 


Рисунок 5 - Приклади зображень облич з бази «У аїіе Касе Дагаразе В» 


Тренування КСК здійснювалося при таких параметрах: значення ймовірності по- 
милки першого роду ЕР С- 107, ймовірність виявлення ТР С - 0,9; для кожного СК 
значення ймовірності помилки першого роду ЕР - 0,5, ймовірність виявлення ТР - 0,995. 
В результаті тренування отриманий КСК, який складається з 20 СК. 

Тестування розробленого методу та методу Віоли-Джонса здійснювалося при та- 
ких загальних параметрах: кількість вікон т - 2, коефіцієнт масштабу М5 (1,1 та 1,2), 
розмір мінімального вікна пошуку (24х24 та 48х48 пікселів). Для розробленого ме- 
тоду додатковими параметрами були: для ЛБЬШ (кількість пікселів околу М - 8, поріг 
2 - 0), зсув вікна пошуку Кт - І піксель, відсоток перетину вікон у - 7090. 

Результати тестування методів виявлення облич при зазначених параметрах пред- 
ставлені у табл. І. 

Таблиця 1 - Результати тестування методів виявлення облич 


Метод Віоли-Джонса Розроблений метод 
і Критерії оцінки 
Коефіцієнт . крену : - й 
ефективності Розмір мінімального вікна пошуку, пікселів 
масштабу 
виявлення 
24х24 48х48 24х24 48х48 
Нмовірнтеть 0,797 0,789 0871 0,873 
виявлення 
Кількість хибних 65 46 69 45 
1,1 виявлень 
Швидкість 
виявлення, 2-3 5-7 2 4-5 
кадрів/с 
МмовірнІстЬ 0,735 0,737 0,827 0,84 
виявлення 
Кількість хибних 32 35 39 29 
12 виявлень 
Швидкість 
виявлення, 4-5 7-10 3-4 6-8 
кадрів/с 
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Висновки 


Розроблений метод виявлення облич фронтального вигляду на напівтонових зоб- 
раженнях з використанням алгоритму навчання Адабоозі та набору модифікованих 
хаароподібних ознак як простих класифікаторів дозволив збільшити вірогідність вияв- 
лення облич в наборі фронтального вигляду з бази Уаїіе В, зображення у якому харак- 
теризуються нерівномірним освітленням, у порівнянні з методом Віоли-Джонса. При 
збільшенні вірогідності виявлення на 7 - 1090, в залежності від параметрів, при цьому 
кількість хибних виявлень залишилася на тому самому рівні та незначно зменшилася 
швидкість виявлення. Тестування здійснювалося на комп'ютері АМЮР 3000- з часто- 
тою процесора 1,81 ГГц. 

Для збільшення швидкості виявлення облич розробленим методом планується 
застосувати етап попередньої обробки зображення, який дозволить зменшити кількість 
вікон, оброблюваних каскадом сильних класифікаторів. Також планується удоскона- 
лити етап верифікації облич-кандидатів, який дозволить зменшити кількість хибних 
виявлень. 
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Р.В. Маслий, А.Я. Кулик 

Воозіїпо-метод обнаружения лиц на изображений 

В статье представлен Бооз8іїпе-метод обнаружения лиц фронтального вида на полутоновом изображении, 
которьй в качестве простьїх классификаторов используєт новьшй набор признаков, полученньх путем 
обьединения локальньх бинарньжх шаблонов и хаароподобньїжх признаков. На наборе изображений 
лиц с базьт Уаїе В, которье характеризуются неравномерной освещенностью, разработанньгй метод показьваєт 
на 7 - 1090 более вьтсокую вероятность обнаружения лиц в сравнений с Бообіїпе-методом Виольм-Джонса. 


К.У. Мачзіїу, А.У. Киїук 
Воозііпо-Вазед Касе Дегесібїоп Мекпоа 
Тре агіїсіє ргорозед Боо5іїпе-Базед гопіа! уїем/ Гасе5 декесіїоп плеїпод їп ргаубсаїе штаєе, місії ц5е5 а 
пему 5еї ої Геакигез обіаїпед Бу соплшіпє Іоса! Ббіпагу райегп5 апа Нааг-ПКе ІГеаїиге5. аз 5ітріє сіа55ійег5 
Оп Фе 5еє ої ітаєєя оп Ше Ба5е ої Уаїе В, мПісі аге спагасісгігед Бу попипібогта іатіпабоп Фе деусіоред 
тефод 5пому8 а 7 - 109 Ббієбег ргобарбійу ої Гасе декесіїоп їп соппрагі5оп ув їБе Міоіа-/опез8 Боо8іпе- 
Базед текфоад. 
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